整个设置过程大约只需要二十分钟。当你第一次看到本地模型在你自己的机器上生成文字——不需要联网、不需要API密钥、也不按token计费——那种感觉和调用ChatGPT或Claude完全不同。也正是这一刻，大多数人会真正“入坑”。
这篇指南会带你一步步在标准的AI迷你PC上跑起一个7B参数级别的模型（比如Llama 3.1、Qwen 2.5或者DeepSeek-V2-Lite）。无需依赖云端，不用折腾复杂的集群配置，也不需要任何机器学习的基础知识。
一个7B模型大约有70亿个参数。在量化之后（具体来说是用Q4_K_M这种量化方式，它在模型质量和资源占用之间取得了不错的平衡），模型文件占用的存储空间大约在4.2到4.5GB。但这里有个最常让新手翻车的地方：实际运行它所需的内存，远远大于文件本身的体积。
推理过程中，不仅要让整个模型常驻内存，还要额外划出一块空间给上下文窗口——也就是对话历史、系统提示词，以及你喂进去的任何文档。对于一个7B模型、标准的8192 token上下文，你至少需要8GB的空闲内存才能让它跑起来。实际一点说，16GB总系统内存是最低门槛；32GB能让你用得从容；64GB的话，你甚至能同时跑多个模型，或者为将来升级到14B的模型留出余量。
如果你的AI PC用的是集成显卡（大多数迷你PC都是这样），那么iGPU会占用系统内存作为显存，这会进一步增加内存压力。综合来看，一个能让7B模型跑得顺滑的配置是：Ryzen 7 8845HS或Core Ultra 7处理器，搭配32GB双通道DDR5内存。
要在本地跑模型，你有两个主要选项，区别在于你是喜欢图形界面还是命令行工作流。
选项A：Ollama（命令行、轻量、社区最爱）
Ollama是目前运行开源模型最友好的工具。下载模型、针对你的硬件做优化、再暴露成一个本地API服务——这些繁琐的事情它都帮你干了。安装只需要一条命令，整个生态围绕几个简单的终端操作展开。
它的最大优势就是简单。你不需要配置Python环境、处理CUDA版本冲突，也不用自己转换模型权重。Ollama全都在后台帮你搞定。
选项B：LM Studio（图形界面，适合边玩边试）
LM Studio提供了一个精致的桌面应用，内置聊天界面、模型下载浏览器和本地服务器模式。如果你习惯了用网页版ChatGPT，LM Studio会让你觉得非常亲切。
缺点在于，因为GUI的开销，LM Studio会多消耗一些系统资源。同时，相比Ollama的命令行参数，它在高级配置上的灵活性稍弱一些。
给新手的建议： 先从Ollama开始。它占用资源更少，跟其他工具（比如Open WebUI，或者代码编辑器里的Continue插件）集成起来也很方便，而且那几个终端命令用不了几分钟就能上手。如果你实在离不开图形界面，LM Studio也是完全可行的替代方案。
如果你用的是Windows，直接去Ollama官网下载安装包运行就行。Linux（Ubuntu/Debian）下，终端命令很简洁：
bash
curl -fsSL https://ollama.com/install.sh | sh
这个脚本会自动检测你的操作系统，安装必要依赖，然后把Ollama服务启动在后台。安装完成后，你可以输下面的命令验证一下：
bash
ollama --version
如果能正常显示版本号，就说明服务已经在跑了。
macOS用户：可以通过Homebrew或者直接下载安装包，过程类似。不过这篇指南默认你用的是x86_64架构、运行Windows或Ubuntu的AI PC。
Ollama维护了一个预量化模型的库。要下载7B参数级别的模型，用pull命令：
bash
ollama pull llama3.1:8b
这会把Meta的Llama 3.1的80亿参数版本拉下来。压缩后的大小大约4.5GB，网速正常的话，下载大概需要10到20分钟。
其他值得一试的替代选项：
Qwen 2.5 7B：在复杂指令遵循方面表现更好，处理中英双语提示也很流畅。
DeepSeek-V2-Lite：DeepSeek-V2架构的轻量版，在编程和逻辑推理任务上做了优化。
拉取这些模型，用下面的命令：
bash
ollama pull qwen2.5:7b
或
bash
ollama pull deepseek-v2-lite:16b
（注意：DeepSeek-V2-Lite实际上是16B的模型，已经超出了7B级别的硬件建议范围。第一次跑的话，先选Llama或Qwen更稳妥。）
模型下载完成后，启动它只需一行命令：
bash
ollama run llama3.1:8b
终端会进入一个交互式聊天会话。输入一个提示词，回车：
text
>> 法国的首都是哪里？
模型会开始生成回答。在一台Ryzen 7 8845HS、32GB内存的机器上，你应该能看到输出速度大约在每秒12到14个token。这个速度对于实时的对话交互来说已经足够流畅了。
要退出聊天会话，输入/bye或者按Ctrl+D。
默认情况下，Ollama设置了一个适中的上下文窗口大小。如果你要做长对话、代码分析或者文档问答，就需要把窗口调大。
新建一个自定义模型配置文件：
bash
ollama create my-llama -f ./Modelfile
在Modelfile里面，你可以调整几个关键参数：
text
FROM llama3.1:8b
PARAMETER num_ctx 16384
PARAMETER temperature 0.7
PARAMETER top_p 0.9
num_ctx控制着模型能“记住”多少个token。把它设为16384（16k token）就能把之前的对话轮次都保留在内存里，避免模型聊到后面就忘了前面说过什么。不过，上下文越大，占用的内存也越多——注意盯着系统资源，别让它用到交换分区。
Ollama内置的API服务器是非常强大的功能。默认它会监听11434端口。这意味着任何应用——无论是你自己写的Python脚本、Open WebUI，还是IDE插件——都能向本地的模型发送请求。
用一条简单的curl命令测试一下API端点：
bash
curl http://localhost:11434/api/generate -d '{
"model": "llama3.1:8b",
"prompt": "用一句话解释检索增强生成的概念。",
"stream": false
}'
如果返回的JSON里包含了模型生成的文字，那就说明你的本地推理服务已经完全就绪，可以集成到任何工作流里了。
跑过几个提示词之后，最好检查一下你的硬件到底能不能扛得住。
检查token生成速度：每次提示词跑完，Ollama都会显示每秒的token数。超过10 token/s的话，交互体验就很棒了。如果掉到5 token/s以下，说明模型已经触到了内存带宽的天花板。
减轻系统负载：关掉不必要的后台应用，尤其是开了好多标签页的浏览器。每个标签页都在消耗系统内存，而这些内存原本可以留给模型的上下文缓存。
设置功耗限制（针对持续高负载）：有些迷你PC在高性能模式下跑几分钟就会因为过热而降频。如果你发现风扇狂转、速度越来越慢，可以考虑在BIOS里把TDP限制在一个适中的数值（比如35W）。这样做的代价是峰值速度会稍微降低，但换来的是长时间运行的性能稳定。
“模型加载失败，或者跑起来慢得离谱。”
检查一下系统可用内存。如果你只有16GB总内存，操作系统和后台进程可能已经占掉了一半，剩下的内存勉强够一个7B模型跑一个小上下文。考虑升级到32GB，或者换成一个更小的3B模型。
“命令报错说没有这个模型。”
模型名称必须和Ollama官方库里的完全一致。用ollama list看看你已经下载了哪些模型，再用ollama pull <模型名>拉取正确的版本。
“模型有回复，但聊了几轮之后就开始胡言乱语。”
通常是上下文窗口被塞满了。在聊天会话里输入/clear清空历史记录，或者用更大的num_ctx参数重新启动一个新会话。
“LM Studio提示找不到兼容的GPU。”
在绝大多数迷你PC上，集成GPU是能被自动识别的。如果不行，试着更新一下显卡驱动。Intel Arc系列和AMD Radeon 780M都支持所需的OpenCL或Vulkan后端。
一旦你有了一个能正常工作的本地7B模型，把它集成到你日常的工具里，才能真正体现它的价值：
代码辅助：把本地API和Continue或Cursor配对，就能在不把代码上传到云端的前提下享受AI自动补全。
文档问答：搭建一个RAG流水线，把你的个人文档（PDF、Markdown、邮件等）喂进上下文窗口，在本地就能对这些内容提问。
OpenClaw浏览器自动化：把你的Ollama端点接进智能体框架，让它操控无头浏览器，做网页抓取和自动化测试。
7B模型的大小大致相当于GPT-3.5-turbo，但调教程度上可能落后一两年。它在通用知识、摘要、代码生成和指令遵循这些任务上表现称职。但在复杂推理、高等数学和多步骤规划方面，它不可能比得上GPT-4。
不过，对于一个总价不到600美元、后期零使用成本的迷你PC来说，这点取舍完全值得。隐私和延迟方面的收益是实打实的——模型启动之后，每次提问都能在一秒内返回结果，而且数据不会离开你的网络。
如果你希望本地的模型能7x24小时待命，不用每次都手动启动，可以把Ollama设置成开机自启。Ubuntu下可以用systemd服务来实现；Windows下可以加到启动文件夹或者用任务计划器。
配置好之后，你的AI PC就变成了一台专用的本地推理服务器，家庭或办公室网络里的任何设备都能向它发API请求。这也是这篇指南最终想带你到达的地方——不只是跑起一个模型，而是搭建一个私有的、自主托管的AI端点，从头到尾不会有一个token流向云端。
今天就去敲下你的第一个提示词吧。下次再有人提起API费用的时候，你心里会很清楚他们在说什么——而你已经迈过那个坎了。
